19. 基于时间的反向传播算法练习 1

_循环神经网络折叠模型_

循环神经网络折叠模型

思考上面循环神经网络折叠模型。状态SZ在每层都有多个神经元。
状态Z在时间 t 的数学推导为:

SOLUTION: 方程式 D

解决方法

\bar{z}\bar{s}是向量,因为我们指出它们每层都有多个神经元。根据这个逻辑我们可以理解方程A和C是错误的。由于w_2连接了隐藏状态\bar{z}和自身状态,所以我们知道需要考虑这里之前的时间步长。因此,只有方程D是正确的。